尖峰神经网络（SNN）是一种受脑启发的模型，具有更时空的信息处理能力和计算能效效率。但是，随着SNN深度的增加，由SNN的重量引起的记忆问题逐渐引起了人们的注意。受到人工神经网络（ANN）量化技术的启发，引入了二进制SNN（BSNN）来解决记忆问题。由于缺乏合适的学习算法，BSNN通常由ANN-SNN转换获得，其准确性将受到训练有素的ANN的限制。在本文中，我们提出了具有准确性损失估计器的超低潜伏期自适应局部二进制二进制尖峰神经网络（ALBSNN），该网络层动态选择要进行二进制的网络层，以通过评估由二进制重量引起的错误来确保网络的准确性在网络学习过程中。实验结果表明，此方法可以将存储空间降低超过20％，而不会丢失网络准确性。同时，为了加速网络的训练速度，引入了全球平均池（GAP）层，以通过卷积和合并的组合替换完全连接的层，以便SNN可以使用少量时间获得更好识别准确性的步骤。在仅使用一个时间步骤的极端情况下，我们仍然可以在三个不同的数据集（FashionMnist，CIFAR-10和CIFAR-10和CIFAR-100）上获得92.92％，91.63％和63.54％的测试精度。
translated by 谷歌翻译
点云识别是工业机器人和自主驾驶中的重要任务。最近，几个点云处理模型已经实现了最先进的表演。然而，这些方法缺乏旋转稳健性，并且它们的性能严重降低了随机旋转，未能扩展到具有不同方向的现实情景。为此，我们提出了一种名为基于自行轮廓的转换（SCT）的方法，该方法可以灵活地集成到针对任意旋转的各种现有点云识别模型中。 SCT通过引入轮廓感知的转换（CAT）提供有效的旋转和翻译不变性，该转换（CAT）线性地将点数的笛卡尔坐标转换为翻译和旋转 - 不变表示。我们证明猫是一种基于理论分析的旋转和翻译不变的转换。此外，提出了帧对准模块来增强通过捕获轮廓并将基于自平台的帧转换为帧内帧来增强鉴别特征提取。广泛的实验结果表明，SCT在合成和现实世界基准的有效性和效率的任意旋转下表现出最先进的方法。此外，稳健性和一般性评估表明SCT是稳健的，适用于各种点云处理模型，它突出了工业应用中SCT的优势。
translated by 谷歌翻译
3D object detection with surround-view images is an essential task for autonomous driving. In this work, we propose DETR4D, a Transformer-based framework that explores sparse attention and direct feature query for 3D object detection in multi-view images. We design a novel projective cross-attention mechanism for query-image interaction to address the limitations of existing methods in terms of geometric cue exploitation and information loss for cross-view objects. In addition, we introduce a heatmap generation technique that bridges 3D and 2D spaces efficiently via query initialization. Furthermore, unlike the common practice of fusing intermediate spatial features for temporal aggregation, we provide a new perspective by introducing a novel hybrid approach that performs cross-frame fusion over past object queries and image features, enabling efficient and robust modeling of temporal information. Extensive experiments on the nuScenes dataset demonstrate the effectiveness and efficiency of the proposed DETR4D.
translated by 谷歌翻译
In this paper, we study a novel and widely existing problem in graph matching (GM), namely, Bi-level Noisy Correspondence (BNC), which refers to node-level noisy correspondence (NNC) and edge-level noisy correspondence (ENC). In brief, on the one hand, due to the poor recognizability and viewpoint differences between images, it is inevitable to inaccurately annotate some keypoints with offset and confusion, leading to the mismatch between two associated nodes, i.e., NNC. On the other hand, the noisy node-to-node correspondence will further contaminate the edge-to-edge correspondence, thus leading to ENC. For the BNC challenge, we propose a novel method termed Contrastive Matching with Momentum Distillation. Specifically, the proposed method is with a robust quadratic contrastive loss which enjoys the following merits: i) better exploring the node-to-node and edge-to-edge correlations through a GM customized quadratic contrastive learning paradigm; ii) adaptively penalizing the noisy assignments based on the confidence estimated by the momentum teacher. Extensive experiments on three real-world datasets show the robustness of our model compared with 12 competitive baselines.
translated by 谷歌翻译
在许多现实世界中的机器学习应用中，亚种群的转移存在着极大地存在，指的是包含相同亚种群组的培训和测试分布，但在亚种群频率中有所不同。重要性重新加权是通过对训练数据集中每个样本施加恒定或自适应抽样权重来处理亚种群转移问题的正常方法。但是，最近的一些研究已经认识到，这些方法中的大多数无法改善性能，而不是经验风险最小化，尤其是当应用于过度参数化的神经网络时。在这项工作中，我们提出了一个简单而实用的框架，称为“不确定性感知混合”（UMIX），以根据样品不确定性重新加权“混合”样品来减轻过度参数化模型中的过度拟合问题。基于训练 - 注射器的不确定性估计为每个样品的拟议UMIX配备，以灵活地表征亚群分布。我们还提供有见地的理论分析，以验证UMIX是否在先前的工作中实现了更好的概括界限。此外，我们在广泛的任务上进行了广泛的经验研究，以验证我们方法的有效性，既有定性和定量。
translated by 谷歌翻译
本文探讨了心电图成像网络（ECGI）中最佳传感器位置（OSP）的新的顺序选择框架。所提出的方法结合了使用最新的实验设计方法，用于在生物对象上进行地标的顺序选择，即高斯工艺地标（GPLMK），以更好地探索候选传感器。两种实验设计方法是使用时空高斯工艺（STGP）拟合的训练和验证位置的来源。使用训练集拟合了STGP，以预测使用GPLMK生成的当前验证集，并从当前验证集中选择具有最大预测绝对误差的传感器并将其添加到选定的传感器中。接下来，使用当前训练集生成和预测新的验证集。该过程一直持续到选择特定数量的传感器位置为止。该研究是在四个人类受试者的352个电极的人体表面电位映射（BSPM）的数据集上进行的。使用建议的算法选择了许多30个传感器位置。所选的传感器位置达到了平均$ r^2 = 94.40 \％$，用于估计整体QRS段。提出的方法通过改善其可穿戴能力并降低设计成本来增加更临床实用的心电图系统的设计工作。
translated by 谷歌翻译
随着LIDAR传感器在自动驾驶中的流行率，3D对象跟踪受到了越来越多的关注。在点云序列中，3D对象跟踪旨在预测给定对象模板中连续帧中对象的位置和方向。在变压器成功的驱动下，我们提出了点跟踪变压器（PTTR），它有效地预测了高质量的3D跟踪，借助变压器操作，以粗到1的方式导致。 PTTR由三个新型设计组成。 1）我们设计的关系意识采样代替随机抽样，以在亚采样过程中保留与给定模板相关的点。 2）我们提出了一个点关系变压器，以进行有效的特征聚合和模板和搜索区域之间的特征匹配。 3）基于粗糙跟踪结果，我们采用了一个新颖的预测改进模块，通过局部特征池获得最终的完善预测。此外，以捕获对象运动的鸟眼视图（BEV）的有利特性（BEV）的良好属性，我们进一步设计了一个名为PTTR ++的更高级的框架，该框架既包含了点的视图和BEV表示）产生高质量跟踪结果的影响。 PTTR ++实质上提高了PTTR顶部的跟踪性能，并具有低计算开销。多个数据集的广泛实验表明，我们提出的方法达到了卓越的3D跟踪准确性和效率。
translated by 谷歌翻译
使用点云的3D对象检测由于其在自动驾驶和机器人技术中的广泛应用而引起了越来越多的关注。但是，大多数现有的研究都集中在单点云框架上，而无需利用点云序列中的时间信息。在本文中，我们设计了Transpillars，这是一种基于变压器的新型特征聚合技术，可利用连续点云框架的时间特征用于多帧3D对象检测。从两个角度来看，转子汇总的时空点云特征。首先，它直接从多帧特征映射而不是汇总实例功能融合体素级特征，以保存实例详细信息，并使用上下文信息，这些信息对于准确的对象本地化至关重要。其次，它引入了分层的粗到精细策略，以逐步融合多尺度功能，以有效捕获移动对象的运动并指导精美特征的聚合。此外，引入了一系列可变形变压器，以提高跨帧功能匹配的有效性。广泛的实验表明，与现有的多帧检测方法相比，我们提议的转质质量可以达到最先进的性能。代码将发布。
translated by 谷歌翻译
现有的多视图分类算法专注于通过利用不同的视图来促进准确性，通常将它们集成到常见的随访任务中。尽管有效，但至关重要的是要确保多视图集成和最终决定的可靠性，尤其是对于嘈杂，腐败和分发数据的可靠性。动态评估不同样本的每种观点的可信度可以提供可靠的集成。这可以通过不确定性估计来实现。考虑到这一点，我们提出了一种新颖的多视图分类算法，称为受信任的多视图分类（TMC），通过在证据级别上动态整合不同的观点，为多视图学习提供了新的范式。提出的TMC可以通过考虑每种观点的证据来促进分类可靠性。具体而言，我们介绍了变异性差异来表征类概率的分布，该分布与不同观点的证据进行了参数，并与Dempster-Shafer理论集成在一起。统一的学习框架会引起准确的不确定性，因此，该模型具有可靠性和鲁棒性，以抵抗可能的噪音或腐败。理论和实验结果都证明了所提出的模型在准确性，鲁棒性和可信度方面的有效性。
translated by 谷歌翻译
在点云序列中，3D对象跟踪目的是在给定模板点云的情况下预测当前搜索点云中的对象的位置和方向。通过变压器的成功，我们提出了点跟踪变压器（PTTR），其有效地在变压器操作的帮助下以粗良好的方式预测高质量的3D跟踪结果。 PTTR由三种新颖的设计组成。 1）除了随机抽样中，我们设计关系感知采样，以保护在子采样期间给定模板的相关点。 2）此外，我们提出了一种由自我关注和跨关注模块组成的点关系变压器（PRT）。全局自我关注操作捕获远程依赖性，以便分别增强搜索区域和模板的编码点特征。随后，我们通过横向关注匹配两组点特征来生成粗略跟踪结果。 3）基于粗略跟踪结果，我们采用了一种新颖的预测细化模块来获得最终精制预测。此外，我们根据Waymo Open DataSet创建一个大型点云单个对象跟踪基准。广泛的实验表明，PTTR以准确性和效率达到优越的点云跟踪。
translated by 谷歌翻译